1
Динамика случайности и информации
MATH005Lesson 9
00:00
Представьте мир, где будущее — не фиксированный путь, а мерцающая сеть возможностей. Освоить динамику случайности означает мост между стохастической эволюцией — как системы перемещаются между состояниями — и количественной оценкой «новизны» или неожиданности, присущей этим переходам.

1. Архитектура переходов между состояниями

Рассмотрим логику погоды. Если предположить, что дождь сегодня — единственный фактор, влияющий на завтрашний день, мы попадаем в область марковской динамики. Это красиво отражено в ПРИМЕРЕ 2а:

Предположим, что будет ли дождь завтра, зависит только от погодных условий сегодняшнего дня. Если сегодня идет дождь, то завтра он пойдет с вероятностью $\alpha$; если нет — с вероятностью $\beta$.

Это создает матрицу переходов $P$, где мы можем вычислить будущие вероятностные потоки, используя идентичность Чапмена–Колмогорова:

$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$

2. Ритм появления событий

Случайность — это не только где мы идём, но и когда происходят события. В процессе Пуассона мы отслеживаем дискретные появления (например, землетрясения или радиоактивный распад) во времени.

  • Интервалы между приходами: Для процесса Пуассона пусть $T_1$ обозначает время первого события. Для $n > 1$ пусть $T_n$ обозначает время, прошедшее между $(n-1)$-м и $n$-м событиями.
  • Стационарность: Последовательность $\{T_n, n=1, 2, \ldots\}$ состоит из независимых экспоненциальных переменных, определяемых скоростью $\lambda$.

3. Информация как уменьшение неожиданности

Теория информации, разработанная Клодом Шенноном, количественно оценивает неопределенность. Она основана на прекрасной алгебраической основе, а именно аксиоме 4:

Аксиома 4: $S(pq) = S(p) + S(q)$ для $0 < p \le 1, 0 < q \le 1$

Эта аксиома подразумевает, что неожиданность двух независимых событий равна сумме их индивидуальных неожиданностей, что напрямую приводит к определению энтропии Шеннона:

$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$

🎯 Основная идея
Динамика задает правила игры (вероятности переходов), а энтропия измеряет, насколько много мы узнаем, играя в эту игру (прирост информации). Если $\alpha=1$ и $\beta=1$ в нашей модели погоды, система детерминирована; энтропия равна нулю, потому что «новости» не предоставляют новой информации.